New default config file that works on both tiger4 and HP boxes

Fix smp_processor_id to be linked to correct processor id under vcpu, which is
the exact one updated by scheduler. Or else easy to think how things get
messed under SMP environment. One phenomenon observed is about softirq.
Exit path on CPU1 checks pending indicator by local_cpu_data, and then
goto do_softirq if pending true. However do_softirq uses cpu_data(cpu)
to query pending bit again. Cpu index is aquired from smp_processor_id,
with thread_info->cpu not cared by scheduler. Finally do_softirq on CPU1
tries to operate percpu data on CPU0 then.

Also disable several prints within critical path, like sending IPI. Due to
slow serial speed, this will slow down overall performance heavily since
event channels among CPUs are in traffic.

This patch is necessary for host SMP.

Signed-off-by Kevin Tian <kevin.tian@intel.com>

Certain faults should not be reflected if caused with priv=0
Signed-off-by Kevin Tian <kevin.tian@intel.com>

More pal_flush_cache calls for split cache machines (by Anthony Xu)

Important domU/vbd fix.  Reserve top granule of machine memory for dom0.

Fix simulator boot (uses old bootparam format with no initrd)

Turn off debug output for NaTpage consumption when ifa==0.
In RHEL4, __strcpy_from_user seems to do this a lot (legally)
and the massive debug output may hide other errors.

Turn off ia64_pal_cache_flush for domU (temp, until failure understood)

Remove some unused VTI code segments
Signed-off-by Anthony Xu <anthony.xu@intel.com>

Cleanup VTLB code
Signed-off-by Anthony Xu <anthony.xu@intel.com>

Under some specific conditions, dom0 will lose guest timer interrupt.
Signed-off-by Anthony Xu <anthony.xu@intel.com>
Signed-off-by Kevin Tian <kevin.tian@intel.com>
The reason is that Xen/ia64 will try to pend guest timer interrupt to dom0
within each machine timer interrupt handler. To avoid duplicated delivery,
domain_itm_last recorded domain_itm of last injection. If two are identical,
it means interrupt injected but guest has not set new itm value. Or else
corresponding pending irr bit will be turned on. That works in most cases.

However currently guest linux may try to set itm multiple times within one
handler before turn on psr.i again. Among first few settings, new guest timer
interrupt may be pended. Then once guest linux enables interrupt, a new
timer interrupt will be injected immediately. However this injection may have
itc still smaller than the domain_itm set at the last round of last handle.
In this case, guest linux will set same domain_itm as last again. However
since domain_itm_last already equals to domain_itm at last read ivr, later
no guest timer interrupt can be injected any more since Xen always thinks
an instance already injected without guest's response.

Attahced patch fixed this issue by adding sanity check upon guest timer
vector when deciding to inject interrupt into dom0. We always compare current
itc with latest domain_itm that guest really wants. So if itc < domain_itm
at this point, we simply clear the pending bit and no injection.

There's also a small fix to vcpu_read_ivr, where domain_itm_last should
be updated before clearing irr bit. Or els a small window still remains
to add a duplicate interrupt.

Small patch to avoid a stack overflow (VTI only).
Signed-off-by: Tristan Gingold <tristan.gingold@bull.net>

Mirror changes to x86 un/mask_evtchn

Fix calls to test-gcc-flag, to match previous changeset.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

HOSTCC should be used to set HOSTCFLAGS instead of CC.
There is a case where HOSTCC doesn't accept -Wdeclaration-after-statement,
while CC does. It results in a compilation error.
This patch fixes it

Signed-off-by: Isaku Yamahata <yamahata@valinux.co.jp>

Ignore .flc, .patch, .orig, and .rej files, and TAGS in the top level.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Merged.

Added error message if the user attempts to shutdown Domain-0.

Signed-off-by: Masaki Kanno <kanno.masaki@jp.fujitsu.com>

Adding SKIP() to tests that aren't supported for VMX domains.

Signed-off-by: Dan Stekloff <dsteklof@us.ibm.com>

Added mkdir -p $XENDOMAINS_SAVE, to ensure that the directory exists before
trying to save into it.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Added a stress test for the Xenstore-Python interface layer.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Revert changes slipped in during merge.

Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

merge?

Make set_pte_at and set_pte_at_sync macros instead of inline functions.
This avoids having to include sched.h to get a definition of init_mm.

Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Clarify the BSD-ish licenses for the blk and net front-end drivers so
that it is clear they are fully GPL-compatible and satisfy the free
software definitions in include/linux/module.h.

Signed-off-by: Keir Fraser <keir@xensource.com>
Signed-off-by: Stephen Tweedie <sct@redhat.com>

Set kcons index to -1 (i.e., acquire all device indexes).

This reverts part of the previous changeset, which prevented
console=tty0 from doing the obvious thing in a domU guest
(i.e., send output on the virtual console). This is because
the tty index ends up being 1.

I don't think setting the index to other than -1 really
buys us anything anyway. Any other driver that specifies
a name that conflicts with us will almost certainly set their
index to -1, so we cannot avoid conflicts by choosing a
more restrictive (singleton) value.

Signed-off-by: Keir Fraser <keir@xensource.com>

Most drivers have their own range of devices they claim and the tty
index is identical to the device file index.  For us, the tty index is
always zero regardless of the device file index.

Signed-off-by: Alex Williamson <alex.williamson@hp.com>

Fix unmask_evtchn() when the port is bound to a different
VCPU.

Signed-off-by: Keir Fraser <keir@xensource.com>

Merged.

Added unit test for VMX configuration files.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

When we see a httplib.BadStatusLine, sleep 5 seconds and then retry.  This
happens when Xend crashes, so retrying once allows it to restart and recover.
If we see Xend crash twice, we give up, but throw a more polite exception than
the BadStatusLine splat that we got previously.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Resurrect vifname xm create vif option support.  This was present in earlier
versions of Xen, and allows one to name a vif when it is created.  This is
useful for integration with IP accounting packages, for example.

Closes bug #439.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Grab the test ID from the report submission response and provide a link
to the user's test report
Signed-off-by: Dan Smith <danms@us.ibm.com>

Fix reference to HttpXendClientProtocol.  This was previously referring to the
abstract base class, which was never going to work.  (This is debugging code
only, so I presume that no-one has used it for a long time, but it's doing no
harm hanging around.)

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Merged.

Change the way domain configuration is handled in xm-test.
This will simplify the way we differentiate between HV and PV domains,
as well as make it easier to run normal tests in either HV or PV mode.

This patch has been modified by Ewan Mellor, to match his recent changes to
remove the nics= configuration option.

Signed-off-by: Dan Smith <danms@us.ibm.com>
Signed-off-by: Dan Stekloff <dsteklof@us.ibm.com>

Tony found a direct userspace access with his unit test for
grant_table.c.  We access "uop->frame_list" (a pointer) directly, rather
than using "op.frame_list".

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>
Signed-off-by: Tony Breeds <tony@bakeyournoodle.com>

A new ACM security tool providing support to aid in the
creation/generation of the XML security policy files for the Xen ACM
security architecture.  It is a python- based, web-based tool named
xensec_gen that allows users to create or modify XML policy files
through a browser.  The resulting XML policy files can then be copied
or moved to the appropriate location in the /etc/xen/acm-security
directory structure in order to be translated into binary and used
within the Xen system.

Signed-off-by: Tom Lendacky <toml@us.ibm.com>

Support VMX guest accesses to IA32_TIME_STAMP_COUNTER MSR.

Signed-off-by: Haifeng Xue <haifeng.xue@intel.com>

Fix shadow_guest32 depenency in Xen/x86 Makefile.

Signed-off-by: Jun Nakajima <jun.nakajima@intel.com>

Add an option for device model to disable key repeat.
On slow network, when creating a vmx guest remotely,
the key repeat feature may make it hard to even type
the user name and password to login in to guest OS.

Signed-off-by: Eddie Dong <eddie.dong@intel.com>
Signed-off-by: Xiaofeng Ling <xiaofeng.ling@intel.com>

Merged.

change the NIC configuration accordingly after remove "nics=n"
otherwise, nics=-1 will be passed to device model and cause device
model exiting.

Signed-off-by: Xiaofeng Ling <xiaofeng.ling@intel.com>

Fix rx buffer allocation in netfront. The final allocation size
was ending up bigger than PAGE_SIZE.

Signed-off-by: Keir Fraser <keir@xensource.com>

Match previous changeset removing nics option.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Merged.

Deprecate the nics option from the xm create configuration.  Instead, we use the
entries in vif to guide the configuration.  This is much less confusing.

Closes bug #440.

Change the example configuration files to match.  Also change them to use the
XenSource OUI in the MAC addresses.  Also change xm-test to match.

Remove the obsolete ipaddr configuration entry, and the backend_mac vif config
option.

Remove the preprocess_vifs function, folding it into the configure_vifs
function, and creating a simple comma_sep_kv_to_dict helper.

Remove the configure_vfr method, as it is unused.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Don't try and close the pipe to the grandparent if it has already been closed
(i.e. we have restarted Xend).

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Increase the default ramdisk size to 16384 to support SLES initrds.

Read the domid and vifid from the store, rather than horribly slicing up the
store path.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Added xend-relocation-hosts-allow option.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Squelch error message from iptables (we log this later if necessary).

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Added a hosts-allow facility to TCP connections, which allows us to restrict
the acceptable connections based upon a regular expression comparison with the
FQDN or the IP address.

Use the hosts-allow facility to restrict access to the relocation socket.  This
adds the configuration option xend-relocation-hosts-allow, which takes a
space-separated sequence of regular expressions.

Pass the protocol class instance through to SocketServerConnection, rather than
a new instance of that class.  This means that the new instance need not be
passed through SocketListener.acceptConnection.

Make the SocketServerConnection and SocketListener classes start their
corresponding threads and open their sockets (in the case of SocketListener)
automatically.  This means that callers do not need to save an instance locally,
just to call run() or listen() on it.  This also means that listenTCP and
listenUnix can go -- simply creating a TCPListener or UnixListener instance is
sufficient.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Minor tidy.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Make from_string('') return [].  This means that it is not necessary for our
callers to special-case this value -- the [] is a valid sxp.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Minor import tidy.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Make sure to fork again after setsid() so that child cannot regain CTTY.

Signed-off-by: Anthony Liguori <aliguori@us.ibm.com>

Remove unused netmask,network etc.  These were used when we called ifconfig to
set up the networking, but now that we use ip directly, we don't need them, and
they were in any case broken when the ip address was specified without a suffix.

This work is by James Dykman <dykman@us.ibm.com>.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Rename QEMU device model log file from /tmp/qemu.log to
/var/log/qemu-dm.<pid>.log.
Also redirect stderr to this log file.

Signed-off-by: Xin Li <xin.b.li@intel.com>

VMX domain should call domain_crash_synchronous instead of domain_crash.
Since domain_crash will return at last, and I watched system crash after
its return.

Signed-off-by: Xin Li <xin.b.li@intel.com>

Fix indentation in a few places.
Signed-off-by: Xin Li <xin.b.li@intel.com>

Fix ia64 blkback build.
Signed-off-by: Keir Fraser <keir@xensource.com>

Initilaise new cpu's processed-time value from cpu0's
timestamp. The new cpu's timestamp is not initialised yet,
so should not be used.

Signed-off-by: Keir Fraser <keir@xensource.com>

Remove GPL from a couple of Xen public interfaces. There are
a few more files to be done, after consulting their authors.

Signed-off-by: Keir Fraser <keir@xensource.com>

Update "make uninstall" to reflect new files.

Signed-off-by: Natasha Jarymowycz <natasha@us.ibm.com>

In all cases in dom0_ops.c, return EFAULT if copy_user
fails.

Signed-off-by: Anthony Liguori <aliguori@us.ibm.com>

Allows a 'make prep-kernels' which sets up the kernel directories, allowing
certain types of test automation to be done more easily.

Signed-off-by: Paul Larson <pl@us.ibm.com>

Merged.

Add initial VMX support to xm-test:

1) Added script create_disk_image to make full virt image
2) Changed XenDomain.py to build separate XmTestDomain object
   for vmx guests (this structure will need to be cleaned up)
3) Changed ramdisk Makefile.am to create disk.img if vmx configured

Signed-off-by: Daniel Stekloff <dsteklof@us.ibm.com>

Merged.

Use new do_without_error function to squelch the error when closing down the
interface.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Use new do_without_error function to squelch the errors when closing down an
interface.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Added do_without_error function, and squelch the error from mkdir when trying
to create the lock directory.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Add one more fork to the Xend start-up process, this time with the parent
staying alive to watch the child.  If the child crashes, then the parent
starts another one in its place.  This provides robustness in the face of
crashes like one currently tracked as bug #411.

Tidy up chunks of SrvDaemon.py on the way past.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Two domUs, ping from one to the other

Signed-off-by: Jim Dykman <dykman@us.ibm.com>

Single domU, ping to dom0.

Signed-off-by: Jim Dykman <dykman@us.ibm.com>

Single domU, ping loopback and the local eth0.

Signed-off-by: Jim Dykman <dykman@us.ibm.com>

Some network test utilities for the library:

Signed-off-by: Jim Dykman <dykman@us.ibm.com>

Makefile plumbing for new network tests.

Signed-off-by: Jim Dykman <dykman@us.ibm.com>

Fix blkback to build on ia64.

Signed-off-by: Dan Magenheimer <dan.magenheimer@hp.com>

  The attached patch makes a couple of changes to the ACM security tools
and installation. Particularly it does the following:
- the Makefile installs the ACM security-related tools
into /etc/xen/acm-security
- improves and cleans up some of the tools
- updates the documentation

Signed-off-by: Tom Lendacky <toml@us.ibm.com>
Signed-off-by: Stefan Berger <stefanb@us.ibm.com>

The attached patch uncouples the device id used inside XenD from the
instance number of the vTPM.

Signed-off-by: Stefan Berger <stefanb@us.ibm.com>

Looks like someone merged and moved the pincpu operation to after the
memory reservation and didn't read the comments I left in the code:

# repin domain vcpus if a restricted cpus list is provided
# this is done prior to memory allocation to aide in memory
# distribution for NUMA systems.

This patch moves the pincpu op back to where it was.

Signed-off-by: Ryan Harper <ryanh@us.ibm.com>

Detach Xend from terminal, courtesy of Horms <horms@verge.net.au>.

* For setsid to effectively detach a process from the terminal,
  the following needs to occur:

    fork ()   Return control to the shell
    setsid () New session with no controlling terminal
    fork ()   The session leader (parent) exits and thus
              the resulting child process can never regain the terminal

  This patch adds the second fork

* The call to self.daemonize(), which now forks, is moved to
  run before self.tracing(), as now that it actually disconnects
  from the terminal, and thus the prevailing process, the trace
  loses the processes created in self.run().

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Flush the addresses from the new eth0 before trying to add the new address to
it, when using ip on the kernel command line and not using the installed ifup /
ifdown.  This stops the script bailing out if there is already an address
attached to that device, which was leaving the device without routing (since
this has already been removed).

Fix the stop action under the same circumstances.  No attempt was made to
restore the kernel command line details to the interfaces if the ifdown failed
in that case.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Allocate separate vm areas for rx and tx rings in netback
driver as part of preparation for ia64 support.

Signed-off-by: Dan Magenheimer <dan.magenheimer@hp.com>

Fix ip_of to cope with interfaces with multiple addresses, courtesy of
Adam Heath <doogie@brainfood.com>.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Support CFQ scheduling of guest block requests by creating
a kernel thread per blkif connection. General cleanup work
in blkback driver.

Signed-off-by: Gerd Knorr <kraxel@suse.de>

Merged.

Strip huge piles of cruft from the connection infrastructure.  We now actually
block inside accept rather than using select to poll and then calling accept
regardless of the outcome of the select call, and then failing because the
socket is non-blocking.

SocketClientConnection, SocketConnector, TCPClientConnection, TCPConnector,
connectTCP, UnixClientConnection, UnixConnector, connectUnix have gone.

loseConnection and stopListening and closeSocket (where they are needed) are
now called close.  startListening is now called listen.

Closes bug #379.

Relieves a weight from the shoulders of the universe.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Make balloon driver arch-neutral.

Signed-off-by: Dan Magenheimer <dan.magenheimer@hp.com>

Move xm destroy handling out of crufty destroy.py and into main.py, where it
can share the better argument parsing.

Closes bug #443.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Fix start_time parsing on restart -- it's a float, not an int.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

A small VMX code cleanup.

Signed-off-by: Eddie Dong <eddie.dong@intel.com>

Merge in the newer Xenbus implementation from Linux to the Mini-OS. The new
version compiles and starts up, but I'm not really sure how to test the new
xenbus implementation.

* Added unbind_evtchn
* Copied parts of the Linux spinlock implementation to make the changes to
  xenbus compared to Linux smaller. Also added a dummy rwsem implementation.
* Updated the xenbus-files

Signed-off-by: Simon Kagstrom <simon.kagstrom@bth.se>

Don't unshadow when the shadow l2 is the current used shadow table.
Otherwise, when destroying the domain, if the current sl2 is unpinned
then the shadow page will be freed without accquire the shadow_lock.
This may also improve the performance due to avoiding uncessary
unshadow.

Signed-off-by: Xiaofeng Ling <xiaofeng.ling@intel.com>

Fixed a get/put_page mismatch for guest L2 pages.  Sometimes, when you
destroy an OS when it is in real mode, there is an extra put_page in
domain_relinquish_resource.  This causes the page be freed with
non-zero type count.  With ASSERT enabled, hypervisor will crash; with
debug=n, on some machines, the system will hang in
alloc_domheap_pages, due to type_info being a union with cpumask and
not equal to 0.

Signed-off-by: Xiaofeng Ling <xiaofeng.ling@intel.com>

Improve VMX guest TSC accuracy when guests are
competing for the same physical CPU.

Signed-off-by: Eddie Dong <eddie.dong@intel.com>

Merged.

Loop retrying when ballooning out, even when the dom0-min-mem setting means
that there is not sufficient memory available at the moment.  Memory may be
about to be freed up by the system after a domain destruction (i.e. the memory
is being scrubbed asynchronously, and will be released soon).

Closes bug #407, bug #429.

Signed-off-by: Ewan Mellor <ewan@xensource.com>